现有的图像到图像翻译技术通常遭受了两个关键问题：严重依赖按样本域注释和/或无法处理每个图像的多个属性。最近的方法采用聚类方法来轻松以无监督的方式提供样本注释。但是，他们无法解释现实环境。一个样本可能具有多个属性。此外，集群的语义不容易与人类的理解相结合。为了克服这些，我们提出了一种语言驱动的图像到图像翻译模型，称为LANIT。我们利用文本中给出的易于访问的候选域注释，并在培训期间共同优化它们。目标样式是通过根据多热域分配汇总多域样式向量来指定的。由于最初的候选域文本可能不准确，因此我们将候选域文本设置为可学习的，并在培训期间共同对其进行微调。此外，我们引入了一个松弛域，以涵盖候选域未覆盖的样品。对几个标准基准测试的实验表明，LANIT与现有模型具有可比性或优越的性能。
translated by 谷歌翻译
前景感知的图像合成旨在生成图像及其前景面具。一种常见的方法是将图像制定为前景图像和背景图像的掩盖混合物。这是一个具有挑战性的问题，因为它容易到达琐碎的解决方案，在这些解决方案中，图像淹没了另一个图像，即面具变得完全充满或空，并且前景和背景没有有意义的分离。我们将Furrygan带有三个关键组成部分：1）施加前景图像和复合图像是现实的，2）将掩码设计为粗糙和细面膜的组合，以及3）通过在辅助掩码中引导发电机，并通过辅助掩码预测器中的辅助掩码预测器。歧视者。我们的方法生成了逼真的图像，并具有非常详细的α面膜，这些面膜以完全无监督的方式覆盖头发，皮毛和晶须。
translated by 谷歌翻译
在生成的对抗网络中，改进鉴别器是生成性能的关键组件之一。由于图像分类器偏向纹理和脱扎，提高了准确性，我们调查1）如果判别者被偏见，而且2）如果脱位鉴别者将提高发电表现。实际上，我们发现实证证据证明鉴别者对图像的风格（\ equeg。，纹理和颜色）敏感。作为一个补救措施，我们提出了功能统计混合正常化（FSMR），鼓励鉴别者的预测不变于输入图像的样式。具体地，我们在鉴别者的特征空间中生成原始的混合特征和参考图像，并且我们应用正则化，使得混合特征的预测与原始图像的预测一致。我们进行了广泛的实验，以证明我们的正则化导致对风格的敏感性降低，一致地提高了九个数据集上各种GAN架构的性能。此外，将FSMR添加到最近提出的基于增强的GaN方法进一步提高了图像质量。代码将在线公开提供研究界。
translated by 谷歌翻译
translated by 谷歌翻译
通过源至目标模态丢失图像的插图可以促进医学成像中的下游任务。合成目标图像的普遍方法涉及通过生成对抗网络（GAN）的单发映射。然而，隐式表征图像分布的GAN模型可能会受到样本保真度和多样性的有限。在这里，我们提出了一种基于对抗扩散建模Syndiff的新方法，以提高医学图像合成的可靠性。为了捕获图像分布的直接相关性，Syndiff利用条件扩散过程逐步将噪声和源图像映射到目标图像上。对于推断期间的快速准确图像采样，大扩散步骤与反向扩散方向的对抗投影结合在一起。为了对未配对的数据集进行培训，设计了一个循环一致的体系结构，并使用两个耦合的扩散过程，以合成给定源的目标和给定的目标。报告了有关联合竞争性GAN和扩散模型在多对比度MRI和MRI-CT翻译中的效用的广泛评估。我们的示威表明，Syndiff在定性和定量上都可以针对竞争基线提供出色的性能。
translated by 谷歌翻译
基于学习的MRI翻译涉及一个合成模型，该模型将源对比度映射到目标对比图像上。多机构合作是跨广泛数据集培训合成模型的关键，但是集中式培训涉及隐私风险。联合学习（FL）是一个协作框架，相反，采用分散培训，以避免共享成像数据并减轻隐私问题。但是，成像数据的分布中固有的异质性可能会损害训练的模型。一方面，即使对于具有固定源目标配置的常见翻译任务，图像分布的隐式变化也很明显。相反，当规定具有不同源目标配置的不同翻译任务时，在站点内和跨站点内会出现明确的变化。为了提高针对域转移的可靠性，我们在这里介绍了MRI合成的第一种个性化FL方法（PFLSYNTH）。 PFLSYNTH基于配备映射器的对抗模型，该映射器会产生特定于单个站点和源目标对比的潜伏期。它利用新颖的个性化阻滞了基于这些潜伏期的发电机跨发电机图的统计和加权。为了进一步促进位点特异性，在发电机的下游层上采用了部分模型聚集，而上游层则保留在本地。因此，PFLSYNTH可以培训统一的合成模型，该模型可以可靠地跨越多个站点和翻译任务。在多站点数据集上进行的全面实验清楚地证明了PFLSHNTH在多对比度MRI合成中对先前联合方法的增强性能。
translated by 谷歌翻译
深度MRI重建通常是使用有条件的模型进行的，该模型将其映射到完全采样的数据作为输出中。有条件的模型在加速成像运算符的知识下执行了脱氧，因此在操作员的域转移下，它们概括了很差。无条件模型是一种强大的替代方法，相反，它可以学习生成图像先验，以提高针对领域转移的可靠性。鉴于它们的高度代表性多样性和样本质量，最近的扩散模型特别有希望。然而，事先通过静态图像进行预测会导致次优性能。在这里，我们提出了一种基于适应性扩散的新型MRI重建Adadiff。为了启用有效的图像采样，引入了一个可以使用大扩散步骤的对抗映射器。使用受过训练的先验进行两阶段的重建：一个快速扩散阶段，产生初始重建阶段，以及一个适应阶段，其中更新扩散先验以最大程度地减少获得的K空间数据的重建损失。关于多对比的大脑MRI的演示清楚地表明，Adadiff在跨域任务中的竞争模型以及域内任务中的卓越或PAR性能方面取得了出色的性能。
translated by 谷歌翻译